长表质疑应答（LFQA）任务要求将相关的文件检索到查询，使用它们形成段落长度答案。尽管LFQA建模相当大，但基本问题妨碍了其进度：i）火车/验证/测试数据集重叠，ii）缺少自动度量标准和III）在检索的文档中产生的答案不会“接地”。这项工作解决了这些关键瓶颈的每一个，有助于自然语言推理/生成（NLI / NLG）方法和指标，使其减轻重大进展。
translated by 谷歌翻译
最近，已经开发了许多自动白细胞（WBC）或白细胞分类技术。但是，所有这些方法仅利用单个模态显微图像，即基于血液涂片或荧光，因此缺少从多模式图像中学习更好的潜力。在这项工作中，我们基于WBC分类任务的第一个多模式WBC数据集开发了有效的多模式体系结构。具体而言，我们提出的想法是通过两个步骤开发的 - 1）首先，我们仅在单个网络中学习模式特定的独立子网； 2）我们通过从高复杂性独立教师网络中提取知识来进一步增强独立子网的学习能力。因此，我们提出的框架可以实现高性能，同时保持多模式数据集的复杂性较低。我们的独特贡献是两倍-1）我们提出了用于WBC分类的同类多模式WBC数据集的第一个； 2）我们开发了高性能的多模式体系结构，同时也有效且复杂性低。
translated by 谷歌翻译
使用卷积神经网络（CNN）的最先进的磁共振（MR）图像超分辨率方法（ISR）由于CNN的空间覆盖率有限，因此在有限的上下文信息中利用有限的上下文信息。Vision Transformers（VIT）学习更好的全球环境，这有助于产生优质的HR图像。我们将CNN的本地信息和来自VIT的全局信息结合在一起，以获得图像超级分辨率和输出超级分辨率的图像，这些图像的质量比最先进的方法所产生的质量更高。我们通过多个新颖的损失函数包括额外的约束，这些损失功能将结构和纹理信息从低分辨率到高分辨率图像。
translated by 谷歌翻译
基于图像检索的应用需要在中间空间中进行编辑和关联，这些空间代表了诸如对象及其关系的高级概念，而不是密集的像素级表示，例如RGB图像或语义标签图。我们专注于这样的表示形式，场景图，并提出了一个新颖的场景扩展任务，在其中我们通过添加新节点（对象）和相应的关系来丰富输入种子图。为此，我们将场景图扩展作为一个顺序预测任务，涉及首先预测新节点，然后预测图中新预测的节点和以前的节点之间的一系列关系的多个步骤。我们为观察到的图表提出了一个测序策略，该图形保留了节点之间的聚类模式。此外，我们利用外部知识来训练我们的图生成模型，从而对节点预测进行更大的概括。由于现有的最大平均差异（MMD）指标的效率低下，用于评估节点之间的预测关系（对象），因此我们设计了新颖的指标，可以全面评估预测关系的不同方面。我们对视觉基因组和VRD数据集进行了广泛的实验，以使用标准的基于MMD的指标和我们建议的指标来评估扩展的场景图。我们观察到，与GraphRNN这样的基线方法，通过我们的方法，GEM，GEMS生成的图形更好地表示场景图的真实分布。
translated by 谷歌翻译
如今，学习排名（LTR）技术在信息检索系统中无处不在，尤其是在搜索排名应用程序中。通常用于训练排名模型的查询项目相关性标签通常是对人类行为的嘈杂测量，例如产品搜索的产品评级。粗略的测量使地面真理对单个相关标准进行了非唯一的排名。为了解决歧义，希望使用许多相关标准训练模型，从而产生多标签LTR（MLLTR）。此外，它制定了多个目标，这些目标可能同时优化，例如，在产品搜索中，可以根据产品质量和购买可能性来增加收入来培训排名模型。在这项研究中，我们利用了MLLTR问题的多目标优化（MOO）方面，并采用了最近开发的MOO算法来解决它。具体而言，我们建议一个一般框架，可以通过多种方式将标签的信息组合在一起，以有意义地表征目标之间的权衡。我们的框架允许使用任何基于梯度的MOO算法来解决MLLTR问题。我们在两个公开可用的LTR数据集和一个电子商务数据集上测试了提出的框架，以显示其功效。
translated by 谷歌翻译
深度学习的成功为许多医学图像分析任务树立了新的基准。但是，在训练（源）数据和测试（目标）数据之间存在分布变化的情况下，深层模型通常无法概括。一种通常用于反向分配转移的方法是域的适应性：使用目标域中的样本来学习解释变化的分布。在这项工作中，我们提出了一种无监督的域适应方法，该方法使用图形神经网络以及分离的语义和域不变结构特征，从而可以在分布偏移之间更好地性能。我们提出了交换自动编码器的扩展，以获得更多的判别特征。我们测试了两个具有分配变化的具有挑战性的医学图像数据集上的分类方法 - 多中心胸部X射线图像和组织病理学图像。实验表明，与其他域适应方法相比，我们的方法可获得最新的结果。
translated by 谷歌翻译
彩票票证假设（LTH）指出，对于合理尺寸的神经网络，同一网络中的子网络的性能不如接受相同初始化训练时的密集对应。这项工作调查了模型大小与查找这些稀疏子网络的易用性之间的关系。我们通过实验表明，令人惊讶的是，在有限的预算下，较小的型号从票务搜索（TS）中受益更多。
translated by 谷歌翻译
深度学习模型在识别医学图像中的发现方面表现出了极大的有效性。但是，他们无法处理不断变化的临床环境，从而带来了来自不同来源的新注释的医学数据。为了利用传入的数据流，这些模型将在很大程度上受益于从新样本中依次学习，而不会忘记先前获得的知识。在本文中，我们通过应用现有的最新持续学习方法介绍了MedMnist收集中连续疾病分类的基准。特别是，我们考虑了三种连续的学习方案，即任务和班级增量学习以及新定义的跨域增量学习。疾病的任务和班级增量学习解决了对新样本进行分类的问题，而无需重新从头开始模型，而跨域增量学习解决了处理源自不同机构的数据集的问题，同时保留了先前获得的知识。我们对表现进行彻底的分析，并研究如何在这种情况下表现出灾难性遗忘的持续学习挑战。令人鼓舞的结果表明，持续学习具有推进疾病分类并为临床环境产生更强大，更有效的学习框架的主要潜力。将公开提供完整基准测试的代码存储库，数据分区和基线结果。
translated by 谷歌翻译
在许多现实世界的医学图像分类设置中，我们无法访问所有可能的疾病类别的样本，而强大的系统有望在识别新型测试数据方面具有高性能。我们提出了一种通用的零射击学习（GZSL）方法，该方法使用自我监督学习（SSL）用于：1）选择不同疾病类别的锚定向量；2）训练功能生成器。我们的方法不需要类属性向量，这些向量可用于自然图像，但不适合医学图像。SSL确保锚向量代表每个类别。SSL还用于生成看不见类的合成特征。使用更简单的架构，我们的方法与基于SSL的最先进的GZSL方法匹配自然图像，并优于医学图像的所有方法。我们的方法足够适应于自然图像时可容纳类属性向量。
translated by 谷歌翻译
我们提出了一种互动地控制静止图像中的流体元素的动画的方法，以产生阴影。具体而言，我们专注于水，烟雾，火的流体元素的动画，具有重复纹理和连续流体运动的性质。从先前作品中采取灵感，我们代表了恒定的2D光学流程图的形式中这种流体元件的运动。为此，我们允许用户提供任何数量的箭头方向及其相关速度以及用户想要动画的区域的掩码。然后，用户提供的输入箭头方向，它们对应的速度值和掩模被转换成表示恒定光学流程图（FD）的致密流图。我们观察到使用简单指数操作获得的FD可以密切地近似图像中元素的合理运动。我们进一步使用生成 - 对冲网络（GaN）来改进计算的密集光学流程图FD以获得更现实的流程图。我们通过在不同分辨率下向前翘曲输入图像特征来设计新的UNET基于基于UNET的架构来自动生成未来的帧，通过转发输入图像特征。我们在公开的数据集中进行广泛的实验，并表明我们的方法在定性和定量度量方面优于基线。此外，我们向培训集中不存在的方向上显示了对象的定性动画，并提供了一种综合视频的方法，否则在现实世界中不会存在。
translated by 谷歌翻译